Mismo Mensaje, Funciones de Orden Superior
Evita las UDFs en PySpark: usa funciones de orden superior nativas de Spark SQL (transform, filter, exists, forall, aggregate, zip_with) para procesar arrays y mapas en la JVM y mejorar rendimiento y escalabilidad.